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(57) Abstract 

The invention relates to an operating and monitoring system in which, in addition to the real information of a process, for example 
of an automation system, virtual information is supplemented and visualized on a mobile display device. This permits an on-site virtual 
visualization, for example, of filling amounts of a tank, of a line, etc. which are otherwise not accessible. Speech or cues make it possible 
to carry out a multimodal communication with components of the processor. 

(57) Zusammenfassung 

Die Erfindung betrifft ein Bedien- und Beobachtungssystem, bei dem neben realen Informationen eines Prozesses, beispielsweise 
eines Automatisjerungssystems virtuelle Informationen crganzt und auf einem mobilen Anzeigegerat visualisiert werden. Hierdurch konnen 
beispielsweise Fullmengen eines Tanks, einer Leitung etc. vor Ort virtuell visualisiert werden, die ansonsten nicht zuganglich sind. Durch 
Sprache oder Fingerzeig ist eine multimodale Kommunikation mit den Komponenten des Prozesses moglich 
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Im f olgenden wird die Erfindung anhand der in den Figuren 
dargestellten Ausf uhrungsbeispiele naher beschrieben und er- 
lautert . 


-Es— 2-e-igen- : 


FIG 1 ein Blockschaltbild eines ersten Ausfuhrungsbei- 

spiels eines Augmented-Reality-Systems 

10 FIG 2 ein weiteres Blockschaltbild eines Ausfiihrungsbei- 

spiels eines Augmented-Reality-Systems und 

FIG 3 ein Anwendungsbeispiel fur einen si tuationsgerech- 

ten Zu ^ ri f f auf Expert enwis sen und/oder Dokumenta- 
15 tionsdaten. 

Figur 1 zeigt eine Prinzipdarstellung eines Augmented- 
Reality-Systems zur Ubertragung von ersten Inf ormationsdaten 
von einem ersten Ort 01 an einen entfernten zweiten Ort 02 
eines Experten fur eine Unterstiitzung eines Anwenders am er- 
sten Ort 01 beispielsweise im Service- und/oder Reparaturf all 
durch den entfernten Experten am zweiten Ort. Der Anwender 
der in Figur 1 nicht explizit dargestellt ist, ist mit mobi- 
len Geraten 4, 6 ausgestattet . Die mobilen Cerate 4, 6 bein- 
halten eine Datenbrille 4, an der eine Videokamera 2 sowie 
exn Mikrofon 11 angeordnet ist . Die Datenbrille ist mit einer 
Exnrichtung zur drahtlosen Kommunikation, beispielsweise ei- 
ner Funk-Sende-Empfangsvorrichtung 6 gekoppelt, die uber eine 
Funkschnittstelle 15 mit dem Automatisierungssystem Al . An 
kommunizieren kann. Das Automatisierungssystem Al..An ist 
. uber eine Datenverbindung 14 mit einem Augment ed-Reality- 
System 10 koppelbar, welches im folgenden auch abkurzend als 
AR-System bezeichnet wird. Das AR-System enthalt ein Informa- 
tionsmodul lb zur Speicherung bzw. zum Zugriff von bzw. auf 
Inf ormationsdaten, ein AR-Basismodul 8 sowie ein AR- 
Anwendungsmodul 9. Das AR-System 10 ist uber eine Datenver- 
bmdung 13 mit dem Internet 5 verbindbar, wobei uber eine 
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ten moglich wird. Anhand der realen mformationsdaten. bei _ 
spaelsweise i„ Porm eines d etektierten objekts warden dann 
znsbesondere automatisch die zusStzlichen in dem Dokumenta- 
taonsdaten enthaltenen Objektdaten ausgewahlt und beispiels- 

^£T tat T rVtC ™* ek ' ° rt ZUr —tilt. Hier- 

durch „ lrd exn „ tuationsgerechter schneller Zugang zu den 
3ewils bendtigten. Daten ermdglicht. 

0 tata^T!" AUS9eStaltU ^ e " *«t—». ^aran. da S die Dokumen- 
sind B und/oder dynamische Inf ormationsdaten 

sand. Beaspaele far derartige statische InforMationen sind 
technxsche- Daten aus Handbacbern. Explosaonszeichnungen. War- 
tungsanweasungen etc.. Beispiele far dynamische Informationen 

^ sand ProzeSwerte wie Temperatur, Druck, Signale etc. 

!n^\ Chneller SitUatiDn ^ r -^ er Zugang zu den Dokun,entata- 
onsdaten ward dadurch welter unterstatzt. da E die Erfassungs- 
matteVezne Baldaufnabmevorricbtung aufweisen. da E die Aus-. 
werteraattel zur Auswertung der realen Information in der Wei- 
se vorgesehen sind. da E aus der realen Information ein 
Ersatzkontext. insbesondere ein Objekt der Dokumentationsda- 

^ ™ * "" d Und ^ Visualisierungs^ittel 
zur Vasualasaerung der Dokumentationsdaten aufweist. 

!nsd!t Chnelle , r SitUation ^— hter. Zugang zu den Dokumentati- 

" Wlrd dadU ^ h -terstatzt, da S die Erfassungs- 

mzttel anwendergesteuert sind und insbesondere als sprachge- 
steuerte Erfassu„gs m ittel und/oder durcb Steuerdaten gesteu- 
erte Erf assungsmittel ausgebildet sind. 

ted "V" 16 °Pti*aler Einsatz von Augmen- 

ted-Realaty-Techniken auf Basis der statischen und/ode^a 
*zscnen dentations- und/oder Proze £ daten kann in der tea- 
se erfolgen, da S die Erfassungsmittei und/oder die Vasualt 
szerungsmittel als Datenbrille ausgebildet sind 
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Beschreibung 

Bedien- und .Beobachtungssystem mit Augmented Reality- 
Techxiiken 

Die Erfindung betrifft ein Bedien- und Beobachtungssystem fur 
erne automatisierungstechnisch gesteuerte Anlage und/oder ei- 
nen automatisierungstechnisch gesteuerten Prozess . 


10 Ein derartiges System und Verfahren kommt beispielsweise im 
Bereich der Automatisierungstechnik, bei Produktions- und 
Werkzeugmaschinen, bei Diagnose-ZServiceunters tutzungssyste- 
men sowie fur komplexe Komponenten, Cerate und Systeme, wie 
beispielsweise Fahrzeuge und industrielle Maschinen und Anla- 

15 gen zum Einsatz. 

Der Erfindung liegt die Aufgabe zugrunde, ein Bedien- und Be- 
obachtungssystem anzugeben, das es auch bei komplexen Aufga- 
be* auf einf ache Weise einen vielseitigen Einsatz ermoglicht. 

2 0 

Diese Aufgabe wird durch System bzw. durch ein Verfahren mit 
den in den Anspriichen 1 bzw. 5 angegebenen Merkmalen gelost . 

Der Erfindung liegt. die Erkenntnis zugrunde, daS far das Be- 
15 dienen und Beobachten eines Prozesses oder einer Anlage hau- 
fig eine Vielzahl von Anzeigemitteln und- instrumenten erfor- 
derlich ist. Dies erfordert einen relativ hohen Hardwareauf- 
wand. Zudem leidet haufig die iibersichtlich beim Bedienen- - 
und Beobachten, wenn der Verantwortliche eine Vielzahl von 
0 Anzeigen beobachten und kontrollieren soil. Mit Hilfe der mo- 
bilen Anzeigemittel, beispielsweise in Form einer Datenbrille 
wird erreicht, da£ dem Verantwortlichen jeweils aktuelle In- 
formationsdaten auf ein und derselben Anzeigevorrichtung, 
namlich auf der Datenbrille visualisiert werden. Die Visuali- 
5 sierung bestimmter Prozessdaten, Signale etc. kann dabei ent- 
weder in Abhangigkeit vorgebbarer Ablaufdaten und/oder ge- 
zielt dadurch erfolgen, da£ der Bediener und Beobachter einer 
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Anlage und/oder eines Prozesses einen bestimmten Bereich Oder 
Teilbereich der Anlage bzw. das Prozesses betraehtet. Hit 
Hilf. der Augmented-Reality-Teohniken warden abhangig von dem 
betraehten Baraich bzw. Tailbaraich bestimmte Inf ormationsda- 
ten.*isua«,si e rt. So kann beispielsweise beim Betrachten ei _ 
nes Ventils aina Anzeige .Ventil gesehlossen" gg£ . erganzt 
duroh ainan Druokwert ausgagaban wardan. Dia Ausgaba erfolgt 
dabai auf dem Anzeigemittel undkann beispielsweise duroh ei- 
ne Spraehausgabe erganzt wardan. Durch dia multif unktionala 
Anzeigevorriehtung in Form dar Datenbrille kann aina vielzahl 
ansonsten erforderlicher separater Anzeigemittel aingaspart 
wardan. Auf dar Datanbrilla konnan beispielsweise auch FQ11- 
mengen ainas Tanks, einar Laitung ate. vor Ort virtuall vi- 
sualisiert wardan, dia ansonstan nicht zuganglich sind. Duroh 
Sprache odar Fingerzeig 1st aina multimodal Kommunikation 
z.B. duroh spraohe und/oder Fingarzeig mit den Komponenten 
des Prozesses moglioh. Mit Hilf a der AR-Taohniken (Augmented- 
Realzty-Teehniken) warden Objekte gasehen und identifiziert 
Drese Realitat kann in Abhangigkeit dieser raalen Informatio- 
,nen dann um virtuelle Inf ormationen erweitert werden. 

, Bai den Informations- und/oder Dokumentationsdaten kann es 
szoh bezspzelsweise um bei dar Erriohtung einer Anlage, einas 
au « zszerungsteohnisoh gesteuarten Systems Oder Prozesses 
arstallte und gesammelte Daten und/oder auoh im Batriab einar 
Anlage Oder eines Automatisierungssystems naoh vorgebbaren 
Krzterzen gapflegta und jeweils aktualisiarte Do- 
kumentationsdaten handeln. Diasa Dokumentationsdaten « M 
auf Spezohermzttel gespaichart sain, dia sowohl lokal, d h 
am Ort der .eweiligen Anwendung odar auoh an jedem beliabig 

fllTd 8i r PielSWeiSe ^ °" d " 3eweili -" HerstallL- 

uITTJ / ^ M "«-*~»t.n. gespeiohert werden. 

Mzt Hzlfe der Erf assungsmittel wardan beispielsweise aus ei- 
nem Bzldinhalt die realen !nf ormationen erfaSt und uber die 
Auswertemittel ausgewertet, so da E eine Zuordnung der realan 
Ob 3 akte zu in den Dokumentationsdaten gaspeichertan obdek d" 
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beispielhaft dargest elite Internetverbindung 12 ein Zugriff 
auf weitere Speicher- und Dokumentationsdaten la moglich ist. 

Der Anwender, der mit der Datenbrille 4 und der mobilen Funk- 
Sende-Einrichtung 7 ausgestatcet ist, ist in der Lage, sich 
fur Wartungs- und Servicezwecke in der Anlage Al..An frei zu 
bewegen. Ist beispielsweise die Wartung oder Reparatur einer 
bestimmten Teilkomponente der Anlagen Al..An erf orderlich, so 
wird mit Hilfe der Kamera 2 der Datenbrille 4 gegebenenf alls 
gesteuert durch Sprachkommandos , die vora Mikrofon 11 erfafit 
werden, ein entsprechender Zugang zu den- re levant en Dokumen- 
tationsdaten la, lb hergestellt. Hierzu wird uber die Funk- 
schnittstelle 15 eine Datenverbindung zur Anlage Al . . An oder 
einem entsprechenden Funk-Sende-Modul aufgebaut und die Daten 
an das AR-System 10 -ubermi tt el t . Im AR-System erfolgt eine 
situationsgerechte Auswertung der vom Anwender erhaltenen Da- 
ten und ein automatischer oder auch ein interaktiv vom Anwen- 
der gesteuerter Zugriff auf Inf oramtionsdaten la, lb. Die er- 
mittel.ten relevanten Dokumentationsdaten la, lb, werden tiber 
die Datenverbindungen 14, 15 an die Funk-Sende-Einrichtung 6 
iibermittelt und insgesamt erfolgt auf Basis der erfaSten Ar- 
beitssituation somit eine Analyse, die Grundlage fiir die Aus- 
wahl von Daten aus der vorliegenden statischen Information 
ist. Hierdurch ergibt sich eine situationsgerechte, objekt- 
orientierte bzw. bauteilorientierte Auswahl relevanten Wis- 
sens aus den aktuellsten Datenguelleri la, lb. Die Anzeige der 
Information erfolgt mit Hilfe der jeweils verwendeten Visua- 
lisierungskomponente, beispielsweise einem Handheld-PC oder 
einer Datenbrille. Von AR-basierten Technologien gesprochen 
wird. Der Anwender vor Ort wird somit lediglich mit der In- 
formation versorgt, die er braucht . Diese Information befin- 
det sich jeweils auf dem aktuellsten Stand. Der Servicetech- 
niker wird beispielsweise nicht durch ein "100 Seiten-Manual " 
mit Inf ormationen uberf rachtet . 

Figur 2 zeigt ein weiteres Anwendungsbeispiel eines Systems 
zur Dokumentationsverarbeitung fur Service und Wartung. Das 
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System besteht aus einem Augmented- Reality- System 10, welches 
ein informationsmodul lb zur Speicherung von Inf ormationsda- 
ten, ein AR-Basissystem 8 sowie ein AR-Anwendungsmodul 9 ent- 
halt. Das AR-System 10 ist uber Bindungslei tungen 13, 18 ans 
Internet 5- ankoppelbar . Von dort besteht uber eine beispiel- 
hafte Datenverbindung 12 eine Verbindungsmoglichkei t zu einem 
entfernten PC 16 mit einem entfernten Experten 22. Die Kopp- 
lung zwischen den einzelnen Modulen des AR-Systems 10 erfolgt 
tiber Verbindungen 19, 2D, 21. Die Anwenderkommunikation zwi- 
schen einem Anwender 7 und dem AR-System erfolgt uber 
Schnittstellen 8, 23. Hierzu ist das AR-System mit einer Sen- 
de-Empfangs-Vorrichtung koppelbar, die eine bidirektionale 
Datenkommunikation zwischen dem AR-System 10 und dem Anwender 
7 uber eine Datenbrille 4 entweder direkt uber die Schnitt- 
stelle 8 oder Uber ein im Bereich des Anwenders 7 angeordnete 
Punk-Sende-Empfangseinrichtung 17 uber eine Schnitts telle 23 
ermoglicht. Die Verbindung 23 kann uber eine separate Daten- 
verbindung oder tiber das Stromnetz als - Power-Line - -Modem 
realisiert werden. Die Datenbrille 4 enthalt neben einer im 
Bereich der Brillenglaser angeordneten Anzeigevorrichtung ei- 
ne Bilderfassungsvorrichtung 2 in Form einer Kamera sowie ein 
Mikrofon 11. Der Anwender 7 kann sich mit Hilfe der Daten- 
brille 4 im Bereich der Anlagen Al. .An bewegen und Service- 
oder Wartungsarbeiten durchfuhren. 

Mit Hilfe der Datenbrille 4 und der entsprechenden Funk- 
Sende-Empfangsvorrichtungen, beispielsweise der Funk-Sende- 
Empfangsvorrichtung 17, die vom Personal direkt am Korper ge- 
tragen wird, ist es moglich vorbeugende Funktionalitat zu er- 
reichen: Zunachst erfolgt die Erfassung der jeweiligen Ar- 
beitssituation, beispielsweise durch die Kamera 2 oder durch 
Lokalisierung durch das Personal 7. Auf Basis der erfaSten 
Arbeitsssituation erfolgt im AR-System eine Auswahl von Daten 
gewarteten Anlage Al..An. Der grundlegende Vorteil des in Fi- 
gur 3 dargestellten Systems besteht darin, dafi dieses System 
das Zusammenwirken der einzelnen Einzelf unktionali taten an- 
wendungsgerecht unterstutzt: So wird zunachst eine konkrete 
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Arbeitssituation automatisch erfafit, diese Arbeitssituation 
anschlieSend analysiert, wobei aus der aktuellsten, vorlie- 
genden statischen Information in Kombination mit den augen- 
blicklioh erfafcten dynamischen Daten automatisch die gerade 
_relevanten. Aspekte ermittelt werden. Hierdurch werden bei- 
spielsweise Montagehinweise mit aktuellen ProzeSdaten korre- 
liert. Das Personal 7 erhalt hierdurch eine situationsgerech 
te Anzeige der relevanten Inf ormationen beispielsweise durch 
exne uberlagerte Visualisierung der entsprechenden Daten in 
der Weise, daS im Sichtfeld des Personals die reale Arbeits- 
situation urn die ermittelten Inf ormationen erweitert wird 
Hxerdurch wird das Personal 7 in kurzester Zeit handlungsfa- 
hag gemacht und damit notwendige Maschinenlauf zeiten gesi- 
chert. Unterstutzung kann der Wartungs techniker 7 vor Ort 
auch uber den entfernten Experten 22 und das am Ort des eat- 
fernten Experten 22 vorliegende Wissen 16 erhalten. 

Figur 3 zeigt ein Anwendungsbei spiel fur einen situationsge- 
rechten Zugriff auf Dokumentationsdaten . Figur 3 zeigt einen 
ersten Bildschirmbereich Bl, in dem eine Anlagenkomponente 
dargestellt ist. Im rechten Bildschirmbereich B2 ist ein An- 
wender 7 dargestellt, der beispielsweise eine einzelne Anla- 
genkomponente betrachtet. Der Anwender 7 ist mit einer Daten- 
brxlle 4 augerustet, die eine Kamera 2 als Erf assungsmi ttel 
enthalt. An der Datenbrille 4 ist daruber hinaus ein Mikrofon 
11 sowie ein Lautsprecher 16 angeordnet . im linken Bild- 
schirmbereich t Bl ist ein Blick auf Rohrleitungen darge- 
stellt, die mit der im Bildfenster B2 dargestellten Daten- 
brxlle betrachtet werden konnen . Im linken Bildschirmbereich 
Bl sxnd zwei Punkte Bl, B2 markiert, die jeweils zwei mit 
Hxlfe der Datenbrille 4 betrachtete Bildausschnitte reprasen- 
txeren. Nach Betrachtung- des ersten Punkts PI, d.h. nach Be- 
trachtung der im Bereich des Punktes PI angeordneten Rohrlei- 
tung werden dem Anwender 7 Zusatzinf ormationen in der Daten- 
brille 4 visualisiert. Diese Zusatzinf ormationen 11 bestehen 
aus Dokumentationsdaten, die bezuglich des ersten Punktes PI 
Arbextsanweisungen fur dieses Rohrstuck enthalten und bezug- 
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lich des Punktes p? ~ 

renrt.. t .. " ei " 2weiten Schritt durchzufiih- 
rende Installationsanweisung beinhalten. Die Installations! 
weisung besteht in • diesem Fall ■ mstallatzonsan- 
n,-.h„ ■ alesem Fa " dann. daS dem Anwender 7 das 
, ° r ^™ c <** «• Drehrichtung der Sebraubverbindung des 

te^ eS " P d" aber ■ Zusatzdaten xl 2 Itge- 

te.lt warden. Bar lender 7 erhalt somit innerhalb ^ 

ob kt :err at ; ons9ereohce - >•*«=>*." 

uojeKt. Bei der Verwendung eine<? i nfro1 T 

welches in der Lage ist L, ^""^""^ "erkzeugs. 

10 erfassen i,t ■ 9 * ei "9*=*tzte Brehmoment zu 

^ S '/ m oglich, da E der Anwender basie- 

rend auf de m aXtuelien Breh^oment auch dazu aufgefordert 

da, credent entspreehend zu erheben Oder zu veLn- 

15 dl^r'nT ""^ Hint «~^°™«icnen zu Binsatzgebiet 
r «T ni ^ 3eht dlbei » ei - anwendungsLien- 

Svstel A " f0rderUn9 — — EntwicMung von AR-basLten 

W J" H UnterStll " U ^ «•> ATbeitsprozessen in EntwL" 
lung, Produktion und Service v^i^ _ , lcK 
20 und Anlagen in der F.rlV k ° mple * er technischer Produkte 
fur SvstL* ! FertlgUngS " und Verfahrenstechnik, sowie 

tur Systems zur ServiceunterstUtzung wie bei Kr.ftf *, 
Oder £fl r die Wartung beliebiger tJL^™?*™™ 

Augmented Reality, kurz ar ice • 

Computer AE-Anwendungs.elder ^^ZJ^J^" 
rungen, „enn beispielsweise ProzeS- MeR '""sanf orde- 
"n an das reale object ge^ ^werdL 

35 Die Situation der deutschen Industrie ist duroh , • 

Kundenanzorderungen an Individuality una 0u alitlt leT" 


Pro- 
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dukte sowie durch eine wesentliche Zeitverkurzung der Entste 
hungsprozesse gekennzeichnet . Insbesondere in Entwicklung, 
Produktion und Service komplexer technischer Produkte und'An 
lagen konnen mit innovativen Losungen fur die Mensch-Technik 
Int.exakti.on...so.wohl Effizienz- und Produktivitatssprunge er- 
zielt werden, als auch die Arbeit kompetenz- und lernforderl 
ich gestaltet werden, indem der Wissens- und Inf ormationsbe- 
darf der.Benutzer auf der Basis ohnehin vorliegender Daten 
situationsgerecht unterstutzt wird. 

Augmented Reality ist eine Technologie mit einer Vielzahl in- 
novativer Anwendungsf elder : 

• So kann z.B. in der Entwicklung ein „Mixed Mock-Up" -Ansatz 
auf der Grundlage einer gemischt-virtuellen Umgebung die 
frxihen Entwicklungsphasen^deutlich beschleunigen . Gegenti- 
ber immersiven, d.h. eintauchenden, „Virtual Reality"- 
(VR) -Losungen besteht far den Benutzer ein wesentlicher 
Vorteil darin, daS die haptischen Eigenschaf ten mit Hilfe 
exnes realen Modells naturgetreu abgebildet werden konnen, 
hmgegen Aspekte der visuellen Wahrnehmung , z.B. fur An - 
zeigenvarianten, virtuell manipulierbar sind. Daruber hin- 
aus besteht ein groSes Potential zur benutzerorientierten 
Valxdierung rechnergestutzter Modelle, z.B. ftir die Bau- 
teilverifikation oder bei Crash-Tests . 

In der flexiblen Produktion kann unter anderem das Ein- 
richten von Maschinen fur gualif izierte Facharbeiter we- 
sentlich erleichtert werden, indem, z.B. durch mobile AR- 
Komponenten, gemischt-virtuelle Spannsituationen direkt im 
Sichtfeld wiedergegeben werden. Eine f acharbei tergerechte 
Fertigungsplanung und Fertigungssteuerung in der Werkstatt 
wird erleichtert, wenn Inf ormationen uber den jeweiligen 
Auf tragsstatus direkt in Verbindung mit den dazugehdrigen 
Produkten vor Ort wahrgenommen werden. Das gleiche gilt 
auch fur die Montage, wobei dem Monteur bereits in der 
Trainingsphase die einzelnen Arbei tsschritte gemischt-vir- 
tuell prasentierbar sind. In diesem Zusammenhang konnen 
2.B. durch den Vergleich realer Montageablauf e mit Simula- 


WO 00/52536 

1Q PCT/DE00/00657 

tionsergebnissen. umfassende Optinuerungen erreicht war- 
den, dze sowohl die Quality der Arbeitsplanung verbessern 
als aucb den MontageprozaE in der kritischen Xnlaufphase 
vereznfachen und beschleunigen . 

r— --Eetztticn genugen in, Service herkon^liche Technologien 

kaum mehr, » die komplexen Diagnose- und Behebungsproze- 
duren zu unterstQtzen und zu dokumentieren . Da diese Pro- 
zesse in vielen Bereiehen aber ohnehin auf Basis von digi- 
talen Daten geplant Warden, bieten AR-Technologien die 
Moglzcbkezt. die Informationsquellen fur die Wartung zu 

dur=7r n C d elnSm * ,Chnik ~- 2 - B - " d « ^atenbrilie. 
durcb dze uberlagerung „it realen objekten den Ausbauvor- 
gang zu erlautern. „ it B ezug auf kooperative Arbeit exznOg- 
Izcbt das AR-gestutzte .Pernauge- eine verteilte Problem! 
losung. xnda. ein entfernter Experte mit den, Mitarbeiter 

llll .T' 9l ° b3le DiStanzen hi ™^ ko^uniziert. Dieser. 
Fall rat besonders far die uberwiegend n,ittelstandis=hen- 
Werkzeugmascbinenbersteller relevant, sie sind durcb dze 
Globalzszerung gezwungen. Produktionsstatten ihrer Kunden 
weltwezt zu erricnten. oedoch ist eine Prasenz von Nied"- 
assungen in alien wicntigen Harkten wader aus wirtschaf t- 
Izcnen OrUnden realisierbar. nooh kann auf das profunda 
Wzssen erfahrener Service-Wtarbeiter des Strauses 
werden werdanden Anlagen verzicbtat 

Die Basonderheit in der Mensch-Tecnnik-Interaktion bei Aug- 
mented Reality liegt in einer sent einfacban und intuitivL 
Ko^unzkatzon tit de m Computer, beispialswaise erganzt durcb 
™ -dale Interaktionstecbniken wie 
G.stzkerkennung. Die Verwendung von tragbaren Con,- 

Nutz e Zss h z eiten - er, ° S9liCht dartlb9r hiMUS V6 "^ — -bile 
Nutzungsszenarzen, wobei die spezifisohen Daten jederzeit 

uber ezn drabtloses Netz angefordert warden kdnnen. 
sualzszerungstecbniken arlauben eine direkte Annotation T B 

; t "^ebung. varbindung m it vertailtan Anwendungen 
sznd m ehrere Benutzer in der L age. in einer realen Umge bung 
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mit Hilfe einer gemeinsamen Datenbasis zu arbeiten (shared 
augmented environments) oder in verschiedenen Umgebungen AR- 
gestiitzt zu kooperieren. 

^Augmented Reality wird erst seit wenigen Jahren intensiv er- 
ro-rscFt . ' Deshalb finden sich sowohl auf nationaler als auch 
international Ebene nur wenige Anwendungen, zumeist in Form 
von wissenschaftlichen Prototypen bei Forschungseinrich- ■ 
tungen . 

• USA: Wie bei vielen neuen Techno logi en wurden die 
Nutzungspotentiale von Augmented Reality zuerst in 
Nordamerika erschlossen. Beispiele sind 'die Cockpit- 

, gestaltung oder die Wartung von mechatronischen Gera- 
ten. Der. Flugzeughers teller Boeing hat bereits erste 
Feldversuche im Bereich der Montage mit AR-Technolo- 
gien unternommen. Ergebnis ist, dafi den USA auch in 
diesem Hightech-Bereich eine Schlusselstellung zu- 
kommt, die mit einer moglichen Technologief uhrer- 
schaft einhergeht. 

• Japan; m Japan werden yerschiedene AR-Entwicklungen 
vorangetrieben, z.B. zur gemischt-virtuellen Gebaude- 
planung, Teleprasenz oder „Cyber-Shopping» . Keimzelle 
ist das 1997 gegriindete Mixed Reality Systems Labora- 
tory, das als Kompetenzzentrum gemeinsam von Wirt- 
schaft und Wissenschaft getragen wird. Besondere Im- 
pulse im Konsumguterbereich sind zukunftig durch die 
japanische Industrie ftir Unterhal tungselektronik zu 
erwarten. 

• Europa: In Europa sind bislang nur sehr wenige For- 
schergruppen im AR-Bereich tatig. Eine Gruppe an der 
Universitat Wien befaSt sich mit Ansatzen fur die ge- 
mischt-reale Visual isierung . Die Gruppe des IGD hat 
im Rahmen des inzwischen ausgelauf enen ACTS-Pro j ektes 
CICC erste Anwendungen fiir die Bauindustrie und einen 
wissenschaftlichen Prototypen zur Mitarbei terschulung 
im Automobilbau entwickelt. 
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Die i„ Erfindung versteht sich insbesondere in, speziellen 
Kontext der Anwendungsf elder -Productions- und WerCzeugma- 
SChlDe "* '»C-9e=t e uerte. automatisierungstechnisehe Prozesse, 
sow.e "Diagno.e-ZServiceunterstiltzungssysten.e fur Co mp lexe 
— teehniscfae Ko,nponenten/Gerate/Systeme" (z.B. Fahrzeuge, aber 
auch industrielle Maschinen und Anlagen) . 

Ein Hauptvorteil der Erfindung besteht in einer Einsparung 
von Anzezgeinstrwnten dadurch, daS AP-Basistechnologien fur 
das Bedrenen und Beobaohten von Systran und Anlagen genutzt 
warden. MlC Hi lfe dieser AF-Basistecbnologien ist as m6 glich. 
Ob^eCte zu sehen und zu identif izieren / nomination aus Se- 
lectmen und Raalitatsarweiterung M virtuelle Information 
Eznblenden von ProzeEwerten in mo bil einsetzbaren Geraten zur 
Vzsualzszerung. Dabei erfolgt eine multi-modale Interaction 
wie Sprache, Fingerzeig, etc. 

zusa^enfassend batrifft die Erfindung sonit ein Bedien- und 
Beobachtungssystem, bei den, neben realen Inf orznationen eihes 
Presses, beispielsweise eines Auto^atisierungssystems virtu- 
elle Infora,ationen erganzt und auf einem mobilen Anzeigegerat 
vzsualisiert warden. Hierduroh Cannen beispielsweise Full„en- 
gen ernes TanCs. einar beitung eto . vor Ort virtuell visual! - 
srert warden, die ansonsten nioht zuganglich sind. Duroh 
sprache Oder Fingerzeig ist eine m ulti m odale KozununiCation 
mt den K °"P<=nenten das Prozessas mSglioh. 
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Patentanspruche 

1. Bedien- und Beobachtungs system fur eine automatisierungs- 
technisch gesteuerte Anlage und/oder einen automatisierungs- 
JL_ technisch gesteuerten Prozess mit einem mobilen Anzeigegerat 
zur Anzeige von ersten Inf ormationsdaten der Anlage oder des 
Prozesses in Abhangigkeit von mittels Erf assungsmitteln er- 
faSbaren realen zweiten Inf ormationsdaten. 
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2. System nach Anspruch 1, 

dadurch gekennzeichnet, 
r daS die Inf ormationsdaten statische und/oder dynamische In- 
f ormationsdaten sind. 

15 3. System nach einem der Anspriiche 1 oder 2, 

dadurch gekennzeichnet,' " 
dafi das System Erf assungsmi ttel (2, 11) mit einer Sensorik 
xnsbesondere einer Bildauf nahmevorrichtung zur Erfassung der 
ersten Inf ormationsdaten sowie Visualisierungsmittel (4) zur 
Vxsualisierung der zweiten Inf ormationsdaten aufweist. 

4. System nach einem der Anspriiche 1 bis 3, 
dadurchgekennzeichnet,' 

daS die Erfassungsmittel (2) anwenderges teuert sind und ins- 
besondere als sprachges teuert e Erfassungsmittel und/oder 
durch Steuerdaten gesteuerte Erfassungsmittel ausgebildet 
sind. 

5. System nach einem der Anspriiche 1 bis 4, 
30 dadurchgekennzeichnet,' 

daS die Erfassungsmittel (2) und/oder die Visualisierungsmit- 
tel als Datenbrille (4) ausgebildet sind. 

6. verfahren zum Bedienen und Beobachten einer automatisie- 
35 rungstechnisoh gesteuerten Anlage und/oder eines automatisie- 

rungstechnisch gesteuerten Prozesses, bei dem mittels eines 
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mobilen Anzeigegerats ersten Inf ormationsdaten der Anlage 
Oder des Prozesses in Abhangigkeit von mittels Erf assungsmit- 
teln erfaSbaren realen zweiten Inf ormationsdaten angezeigt 
we r den . 


7. Verfahren nach Anspruch 6, 
dadurch gekennzeichnet, 

daS die Dokumentationsdaten (II.. in) statische und/oder dyna- 
mische Inf ormationsdaten sind. 

8. Verfahren nach einem der Anspriiche 6 oder 7, 
dadurch gekennzeichnet, 

daS die ersten Inf ormationsdaten mittels Erf assungsmitteln 
(2, 11) mit einer Sensorik, insbesondere einer Bildauf nahme- 
vorrichtung erfaSt und daS die zweiten Inf ormationsdaten mit- 
tels Visualisierungsmitteln (4) dem Anwender (7) visualisiert 
werden . 

9. Verfahren nach einem der Anspriiche 6 bis 8, 
dadurchgekennzeichnet, 

daS die Erfassungsmittel (2). anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erfassungsmittel und/oder 
durch Steuerdaten gesteuerte Erfassungsmittel ausgebildet 
sind. 

10. Verfahren nach einem der Anspriiche 6 bis 9, 
dadurch gekennzeichnet, 

daS die Erfassungsmittel (2) und/oder die Visualisierungsmit- 
tel als Datenbrille ausgebildet sind. 


WO 00/52536 

PCT/DE00/00657 

1/3 




4 



INTERNATIONAL SEARCH REPORT. 


A- CLASSIFICATION OF SUBJECT MATTER - ■ ■ 

IPC 7 G05B19/409 G05B19/418 G05B23/02 


lnt« Jonal Application No 

PCT/DE 00/00657 


According to International Patent Cl aaaMcation (IPC) of to both national daesifc aticn and IPC 
B, FIELDS SEARCHED 
Mnjum doc^on^»n marched (claaeffication eyetom followed by cta-Htaaion .ymbote) 


ntation searched other than minimum documentation to the extent that such oocumenta are Included in 


the fields searched 


eectronic data base consulted during the international search (name of data baeTandT 

EPO-Internal 


where practical, search terms used) 


C. DOCUMENTS CONSIDERED TO BE RELEV ANT 

Citation of document, with Indication, where appropriate, of the relevant 


DAUDE R ET AL: "HEAD-MOUNTED DISPLAY ALS 
FACHARBEITERORIENTIERTE 
UNTERSTUETZUNGSKOMPONENTE AN 
CNC-WERKZEUGMASCHINEN" 

SI5| ( ?I ATTSTECHNIK > DE • SPRINGER VERLAG . 
BERLIN , 

vol. 86, no. 5, 1 May 1996 (1996-05-01) 
pages 248-252, XP000585192 
ISSN: 0340-4544 
the whole document 


Y 
Y 


US 5 712 649 A (T0SAKI KEN J I ) 
27 January 1998 (1998-01-27) 
the whole document 

US 5 850 352 A (JAIN RAMESH ET AL) 
15 December 1998 (1998-12-15) 
the whole document 

-/- 


Relevant to daim No. 

1-4,6-9 


5,10 
5,10 

1,6 


IT] Furthor Omenta are listed In the continuation of box C. 

|X ) Pat8nt *wn'*y members are listed In annex. 

I ' Special categories of cited documents : " 

A " SXZl^ artwhfcbfcnot 
E " ^£JSS imambUlpUbl,ah ^ cn ° r after lnt °™«°nal 

^S >, ! 8h ^"^on date of another 
1 citation or other special reason (as specified) 

I "°" t *°5 umont referTir> 9 to an oral djectoeure, use. exhibition or 
1 otner means 

" P " p "? i8 i? 0 fLP f l or to me International filing date but 
j later than the priority date claimed 

Date of the actual completion of the intemationai search " — 

T " ' ^ nriSSTS? PUt S ah 7{ a *"2* fr*""«*>n«l filing date 

ZSJ^^JtSL ^ " ot ln °° nfi,c * **m me application but I 
Switten ndBfBtar>d me P" nc| P te cr theory underlying the I 

** ^IJ^°i£ a I?2!l^ mtev ? r ^ : tho cWmed invention 
cannot be considered novel or cannot be considered to 
involve an inventive step when the document Is taken alone j 

"Y" document of particular relevance; the claimed Invention 

cannot be considered to involve an inventive ateo when the 
document is combined with one or more other StihSSa? 
tn^art* comb,natton Mn Q odious to a person skilled 
document member of the same patent family 

Date of mailing of the intemationai search report 

1 13 July 2000 

19/07/2000 

1 Name and mailing address of the ISA — »»™= araB „„ 

European Patent Office, P.fi. 5618 Patentfaan 2 
NL - 2260 HV Rljswi* 

Tel. (+31-70) 340-2040. Tx. 31 651 epo nl, 
Fax: (+31-70) 340-3016 

Authorized officer — — — ■ | 

Hauser, L I 


nano 1 n-f 7 


INTERNATIONAL SEARCH REPORT 


Inti Jonal Application No 

PCT/DE 00/00657 


C.(Contlnuallon) DOCUMENTS CONSIDERED TO BE RELEVANT 


Citation of document, with indication, where appropriate, of the relevant 


Relevant to oiaim No. 


KUZUOKA H: "SPATIAL WORKSPACE 
COLLABORATION: A SHAREVIEW VIDEO SUPPORT 
SYSTEM FOR REMOTE COLLABORATION 
CAPABILITY- 
PROCEEDINGS OF THE CONFERENCE ON HUMAN 
FACTORS IN COMPUTING SYSTEMS, US, READING 
ADDISON WESLEY, 

vol. -, 1992, pages 533-540, XP000426833 
the whole document 


1-4,6-9 


US 5 748 495 A (OHGA YUKIHARU 
5 May 1998 (1998-05-05) 
the whole document 


ET AL) 


I TO S ET AL: " HUMAN ORIENTED OPERATION 
GUIDE FOR SUBSTATIONS" 
PROCEEDINGS OF THE INTERNATIONAL 
CONFERENCE ON SYSTEMS, MAN, AND 
CYBERNETICS, US, NEW YORK, IEEE, 
vol..-, 1994, pages 1104-1109, XP000531218 
ISBN: 0-7803-2130-8 
the whole document 

JOHNSON D: "SCADA SOFTWARE RAISES THE 
STAKES" 

CONTROL ENGINEERING 

INTERNATIONAL, US, CAHNERS PUBLISHING, 

vol. 43, no. 14, 

1 October 1996 (1996-10-01), pages 
80-82,84,86, XP000682154 
ISSN: 0010-8049 
the whole document 

STOKER C R ET AL: "ANTARCTIC UNDERSEA 
EXPLORATION USING A ROBOTIC SUBMARINE WITH 
A TELEPRESENCE USER INTERFACE" 
IEEE EXPERT, US, IEEE INC. NEW YORK, 
vol. 10, no. 6, 

1 December 1995 (1995-12-01), pages 14-23, 
XP000539881 
ISSN: 0885-9000 
the whole document 

US 5 745 387 A (CORBY OR NELSON RAYMOND 
ET AL) 28 April 1998 (1998-04-28) 
the whole document 


1,6 
1,6 


1,6 


1,6 


1,6 


Focm PCT/1SA/210 (continuation of Mcortd ttheot) (July 1062) 


nano 9 n-f 9 


INTERNATIONAL SEARCH REPORT * 

Information on patent f amity mom ban 


PatBnt document 
cited in search report 


Publication 
date ' 


US 5712649 A 


US 5850352 


US 5748495 


US 5745387 


27-01-1998 


15-12-1998 


05-05-1998 


28-04-1998 


Irei . Jonal Application Mo 

PCT/DE 00/00657 


Patent family 
members) 


JP 
JP 
JP 

DE 
DE 
EP 
US 


5130532 
6110013 
5176260 
69221987 
69221987 
0539907 
5392158 


A 
A 
A 
D 
T 
A 
A 


US 
AU 
W0 
US 


5729471 A 
5380296 A 
9631047 A 
5745126 A 


JP 3192498 A 

DE 69028685 D 

DE 69028685 T 

EP 0434050 A 

US 5777896 A 


Publication 
date 


25-05-1993 
22-04-1994 
13-07-1993 
09-10-1997 
05-02-1998 
05-05-1993 
21-02-1995 


17-03-1998 
16-10-1996 
03-10-1996 
28-04-1998 


22-08-1991 
31-10-1996 
20-02-1997 
26-06-1991 
07-07-1998 


NONE 


Foim PCT/1SA)210 (pst«nt famty anrx»x) (July 18©2) 


INTERNATIONALE!* RECHERCHENBERICHT 


Int donalM Aktsnzatchan 

PCT/DE 00/00657 


A- KLASS1FIZJERUNG DES ANMELDUNGSGEGENST ANDES 

IPK 7 G05B19/409 G05B19/418 G05B23/02 


Nach der Intemationaien PatentkJasarrlkation (IPK) oder nach der natlonaien Klasarfikstion und der IPK 


B. RECHERCHIERTE GEBIETE 


Recherchierter Mincteatprufatoff (Klaaaifikationeayatern und Klassrfikabonssymbde ) 

IPK 7 G05B 


Bech e rc hiegte aber nicht zum Mindeatpriifatoff gehdrende Veroffentlichungen. aowe* dieee unter die recherchierten Gebiete fallen 

Wahrend der intemationaien Recherche konsultierte elektroniache Datenbank (Name der Datenbank und evtt. verwendete Suchbegriffe) 

EPO-Internal 


C. ALS WESENTUCH ANGESEHENE UNTER LAG EN 


Kategone' 


Bezetehnung der Veroffentlichung, aoweit erforderilch unter Angabe der m Betracht kommenden Telle 


Betr. Anapruch Nr. 


Y 
Y 


DAUDE R ET AL: "HEAD-MOUNTED DISPLAY ALS 
FACHARBEITERORIENTIERTE 
UNTERSTUETZUNGSKOMPONENTE AN 
CNC-WERKZEU6MASCHINEN" 

WERKSTATTSTECHNIK.DE, SPRINGER VERLAG. 
BERLIN, 

Bd. 86, Nr. 5, 1. Mai 1996 (1996-05-01), 
Seiten 248-252, XP000585192 
ISSN: 0340-4544 
das ganze Dokument 

US 5 712 649 A (TOSAKI KENJI) 
27. Januar 1998 (1998-01-27) 
das ganze Dokument 

US 5 850 352 A (JAIN RAMESH ET AL) 
15. Dezember 1998 (1998-12-15) 
das ganze Dokument 


-/- 


1-4,6-9 


5,10 
5,10 

1,6 


I in 


Wertere VeroffentHchungen sind der Fortaetzung von FeW C 2u 
entnehmen 


ID 


Siehe Anhang PatentfamiDe 


• Beeondere Kategoden von angegebenen VeroffentHchungen 
•A' Ven3ffentltehung. die den aJIgemelnen Stand der Technlk definlert 
aber nicht aJa baaondera bedeutaam anzusehen iat 

"E" aiterae Dokument, daa jedoch erat am oder nach dem intemationaien 

Anrneldedatum veroffentlicht worden iat 
•L" Veroffentlichung. die geelgnet iat, einen Pnoritataanapruch zwerfelhaft er- 
scheinen 2u iaaaen, oder durch die daa Veroffentlichungadatum einer 
arnieren Im Hoc here hen benefit genannten Veroffentlichung beiegt warden 
soil oder die aue elnem anderen beeonderen Qrund angegeben iat (wie 
auegefuhrt) - v 

Veroffentlichung, die aich auf eine mundliche Offenbanjng. 
^H*?*!"? 1 "^ eino Aus8te fung oder andere Maflnahmen bezieht 
Veroffentlichung, die vor dem intemationaJen Anmeidedatum, aber nach 
dem beanapruchten Prioritatadatum veroffentlicht worden iat 


T" Spate re Veroffentlichung, die nach dem intemationaien Anmeidedatum 
oder dem Prtaritatadaturn veroffentlicht worden iat und mtt der 
Anmeldung nicht kollidiert, eondem nur zum Veratandnie dee der 
S^ung ^rur^jegenden PrinzJpe oder der Ihr zugrundeliegenden 
i neono angegeben iat 

•X* Veroffentlichung von beeonderer Bedeutung: die beanapruchte Erfindung I 
kann aJtein aufgrund dieeer Veroffentlichung nicht a la neu oder auf 
erflnderiacher Tatlgkett beruhand betrachtet warden 

"Y* Veroffentlichung von beeonderer Bedeutung; die beanapruchte Erfindung I 
kann nicht ais auf emnderiacher Tatlgkeit beruhand betrachtet 
warden, wenn die Veroffentlichung mit einer oder mehreren anderen 
Veroffentlichungen dieaer Kateoohe in Verbindung gebracht wird und 
dleee Verbindung fur einen Fachmann naheJiegend Iat 
Veroffentlichung, da Mftgjted dense Iben Patentfamiiie iat 


Datum dee Abachlueeea der International en Recherche 

13. Juli 2000 


Absendedatum dea intemationaien Recr«rchenberichta 


19/07/2000 


Name und Poetanachrtft der IntemationaJen Rechercrienbehdrde 
Europaiftchee Patentamt. P.B. 5818 Paten tiaan 2 
NL - 2280 HV Rljswijk 
Tel. 340-2040. Tx. 31 651 epo nl. 

Fax: (<J1-70) 340-3016 


Bevollmachbgter Bediensteter 


Hauser, L 


Fofmbiatt PCT/1SA/210 (Batt 2) (JuK 1092) 


Seite 1 von 2 


INTERNAHONALER RECHERCHENBERICHT 



KUZUOKA H: "SPATIAL WORKSPACE 
COLLABORATION: A SHAREVIEW VIDEO SUPPORT 
SYSTEM FOR REMOTE COLLABORATION 
CAPABILITY" 

KJSKE 1 ?! 5 0F THE INFERENCE ON HUMAN 

Bd. -, 1992, Seiten 533-540, XP000426833 
das ganze Dokument 


1-4,6-9 


US 5 748 495 A (OHGA YUKIHARU 
5. Mai 1998 (1998-05-05) 
das ganze Dokument 


ET AL) 


ITO S ET AL: "HUMAN ORIENTED OPERATION 
GUIDE FOR SUBSTATIONS" <Jf tKA I lUN 

fXEIHS?? 0F THE INTERNATIONAL 
CONFERENCE ON SYSTEMS , MAN, AND 
CYBERNETICS,US,NEW YORK, IEEE 

?SBN7'0-7l23-i?I^S 1104 - 1109 ' * P00053121 8 
das ganze Dokument 


1,6 


1,6 


"SCADA SOFTWARE RAISES THE 


JOHNSON D: 
STAKES" 
CONTROL ENGINEERING 
INTERNATIONALES , CAHNERS PUBLISHING 
Bd. 43, Nr. 14, 

1. Oktober 1996 (1996-10-01), Seiten 
80-82,84,86, XP000682154 
ISSN: 0010-8049 
das ganze Dokument 

rJSRS C R ET AL: "ANTARCTIC UNDERSEA 
EXPLORATION USING A ROBOTIC SUBMARINE WITH 
A TELEPRESENCE USER INTERFACE" 
JEEE EXPERT, US, IEEE INC. NEW YORK, 
Bd. 10, Nr. 6, 

1. Dezember 1995 (1995-12-01), Seiten 
14-23, XP000539881 
ISSN: 0885-9000 
das ganze Dokument 

r? », n 4 L 387 A (C0RBY JR KELSON RAYMOND 
ET AL) 28. April 1998 (1998-04-28) 
das ganze Dokument 


1,6 


1,6 


1,6 


Formbtait FCTMSA/210 (FoftMtzung von Btat 2) (Jul) 1B02) 


<\ai+o ? von O 


INTERNA TIONAUER RECHERCHENBERICHT 

Angaben zu Ver6ffentfichung©n. die zuMeJben Patentfamilie gehdren 


Inn 


onatee Aktenzeichen 


PCT/DE 00/00657 


lm Recherchenbericht 
angefuhrtes Paten tdokument 


Datum der 
Veroffentiichung 


Mitglied(er) der 
Patentfamilie 


Datum der 
Verflffenflichung 


US 5712649 


27-01-1998 


JP 
JP 
JP 
DE 
DE 
EP 
US 


5130532 A 
6110013 A 
5176260 
69221987 
69221987 
0539907 
5392158 


A 
D 
T 
A 
A 


25-05-1993 
22-04-1994 
13-07-1993 
09-10-1997 
05-02-1998 
05-05-1993 
21-02-1995 


US 

5850352 

A 

15-12-1998 

US 

5729471 A 

17-03-1998 





AU 

5380296 A 

16-10-1996 





WO 

9631047 A 

03-10-1996 





us 

5745126 A 

28-04-1998 

us 

5748495 

A 

05-05-1998 

JP 

3192498 A 

22-08-1991 





DE 

69028685 D 

31-10-1996 





DE 

69028685 T 

20-02-1997 





EP 

0434050 A 

26-06-1991 





us 

5777896 A 

07-07-1998 

us 

5745387 

A 

28-04-1998 

KEINE 




FoimUatt PCTdSA/210 <Anfw>g Pm«otl»nyb)(Jul 1962) 


